AFS AI Hub 使用說明 - 友智雲雲端版
目錄
產品介紹
AFS AI Hub 為台灣智慧雲端推出的地端 GenAI 推論與應用整合軟體，提供簡便的模型下載、部署與管理流程，支援多款繁體中文強化模型與主流開源模型。此外，更進一步整合多元 AI 應用，協助企業快速導入可實際使用的智慧服務。
AFS AI Hub 具備系統管理員與一般使用者分離的操作介面，支援彈性的權限控管與使用管理，讓組織能依不同部門與應用情境有效分工與協作。透過完整的模型管理與 AI 應用整合能力，AFS AI Hub 協助企業將生成式 AI 從技術驗證階段，落實為可持續運作的生產力工具。
角色權限
角色分為「系統管理員」和「使用者」，權限如下表：
| 功能 | 系統管理員 | 使用者 |
|---|---|---|
| 使用模型對話介面 | O | O |
| 使用AI應用 | O | O |
| 個人歷史對話紀錄 | O | O |
| 設定個人系統提示詞 | O | O |
| 設定個人提示詞庫 | O | O |
| 設定模型參數設定 | O | O |
| 操作平台管理功能 | O | X |
安裝後初始登入
- 安裝完 AFS AI Hub 後初始登入，帳號密碼請填 afs-admin，點選登入。
- 登入成功後，從左下角選單：平台管理>帳號管理，變更 afs-admin 的密碼，以確保不易被惡意測試者登入。密碼變更後，可至 平台管理操作說明 開始新增使用者或下載模型。
登入及登出
- 登入
- 請輸入帳號和密碼，點選【登入】。
- 此帳號初次登入，請重新設定密碼後，點選【登入】。
提醒：密碼長度至少需8個字元，並包含1個大寫字母、1個數字、1個非字母符號。
- 登入AFS AI Hub對話介面。
- 登出
點選【帳號及設定 > 登出】即可登出帳號。
語系切換
- 點選【帳號與設定 > 語言】便可以切換繁體中文介面或英文介面。
使用者介面操作說明
對話介面
- 登入後，進入AFS AI Hub對話介面，模型清單顯示所有已啟用模型，選擇模型後即可進行對話。
提醒：如尚無模型可選擇，請系統管理員先行下載並啟用模型，詳細操作請見模型管理。
- 於使用者輸入框輸入問題或任務，按下Enter或【發送】。
- 模型推論時，可點擊【終止】來中止模型推論。
- 可於同一對話串內進行多輪對話，模型將總結先前對話問答來回覆問題。
- 點擊左側【開始新對話】可重新選擇模型並展開新對話。
影像上傳及對話
當選擇模型具備多模態影像分析能力時，可透過以下方式上傳影像並對話。每個對話串最多上傳一張圖片；欲上傳其他圖片，請開啟新對話再試。
- 點選【+】選擇影像，或透過拖曳上傳。
- 成功上傳影像後，將於輸入框上方顯示影像縮圖。點擊縮圖右上方【x】可刪除影像。
- 針對影像輸入問題或任務，例如「請告訴我圖片裡的所有文字」進行圖片OCR，模型將針對影像內容來回覆用戶問題。
- 點擊圖片，可查看大圖。
推理模式
如選擇模型為推理模型，可選擇開啟【思考開關】或選擇【推理強度】。
- 思考開關：開啟【思考】，模型將會進行推理；關閉【思考】，模型進行一般推論。
- 思考強度：當使用模行為 gpt-oss系列時，可選擇思考強度「高」、「中」、「低」。
- 可查看使用秒數及展開查看思考內容。
歷史對話紀錄
對話紀錄依帳號記載於對話介面左側，顯示此帳號過去所有的對話紀錄串。
- 查看對話紀錄及問答
點選對話紀錄，可查看過去對話串的對話紀錄，並可接續多輪對話。 - 重新命名對話紀錄
點選【功能鍵 > 重新命名】可以為此對話紀錄串重新命名。 - 刪除對話紀錄
點選【功能鍵 > 刪除】將從資料庫中永久刪除此對話紀錄串。
注意
如當下已啟用模型不包含歷史對話時所使用的模型，會無法進行接續對話。
提示詞庫
使用者可於提示詞庫儲存常用提示詞（Prompt），方便隨時於對話介面使用。
- 新增提示詞
- 點選【+新增提示詞】進入新增提示詞頁面
- 輸入提示詞名稱、描述及提示詞並點選新增，完成新增提示詞。
提示詞可輸入大括號{}表示變數。例如：請完成指定任務：{輸入內容}。大括號內之變數可於對話介面取用時另外填入。
- 使用提示詞
- 於對話介面點擊【提示詞】按鈕，可看到選擇提示詞視窗。
- 選擇欲使用之提示詞，點選確認。
- 填寫變數內容，將會自動帶入提示詞中。
- 點選套用，將自動將提示詞內容套用之對話框。
- 修改提示詞
點選【功能 > 修改】進入修改提示詞頁面，可修改名稱、描述及提示詞。 - 刪除提示詞
點選【功能 > 刪除】可刪除此提示詞。
AI應用
如有已啟用之AI應用，使用者可於此查看並使用AI應用。
- 點擊【開始使用】，便可以另起分頁開始使用該AI應用
系統提示詞
可透過修改模型的系統提示詞，來定義模型所需扮演的角色或回答的範圍。
- 點選【帳號與設定 > 系統提示詞】，彈出系統提示詞視窗。
- 請選擇欲修改系統提示詞的模型。此處列出模型為運行中的所有模型。
- 請輸入系統提示詞，以定義模型模型所需扮演的角色或回答的範圍。以Llama3.2-FFM-11B為範例如下：
你是一個主要使用繁體中文的圖像AI助理。收到圖片時，請依照以下步驟回應：
1. 辨識圖片中的所有文字，並完整列出。
2. 針對這些文字內容進行詳細分析與說明，包括其可能的含義、用途或相關資訊。
3. 以清晰、有條理的方式，並以繁體中文回答所有內容。
請嚴格依照上述步驟作答。
- 點選【儲存】完成修改，模型將套用修改後的系統提示詞。
模型參數設定
可透過修改模型參數設定，使模型生成結果更符合使用者需求。
- 點選【帳號與設定 > 模型參數設定】，彈出模型參數設定視窗。
- 請選擇欲修改模型參數設定的模型。此處列出模型為運行中的所有模型。
- 調整各項參數，並點擊儲存，模型將套用參數設定。參數說明和可調整範圍如下：
| 模型參數 | 說明 | 可調整範圍 |
|---|---|---|
| 溫度Temperature | 生成文本的隨機和多樣性。 值越大，文本更具創意和多樣性； 值越小，則較保守、接近模型所訓練的文本。 | 0.01～1 |
| 最大生成Token數 | 一次最多可生成的 token 數量。 | 1～上下文長度的一半 |
| Top P | 當候選 token 的累計機率達到或超過此值時，就會停止選擇更多的候選 token。 值越大，生成的文本越多樣化； 值越小，生成的文本越保守。 | 0.01～1 |
| Top K | 限制模型只從具有最高概率的 K 個 token 中進行選擇。值越大，生成文本越多樣化；值越小，生成的文本越保守。 | 1～100 |
| 重複懲罰 Frequency Penalty | 重複懲罰，控制重複生成 token 的概率。值越大，重複 token 出現次數將降低。 | 0.01～2 |
- 點擊【重置參數】，可將所有參數還原預設設定。
平台管理操作說明
僅有系統管理員可使用【平台管理】功能，點選側欄【平台管理】進入平台管理介面。再次點選【返回使用者介面】可回到模型對話介面。平台管理具備以下功能：
總覽
管理員可透過總覽頁面查看各模型 Token 使用情況，透過選擇「模型」和「時間範圍」便可以查看使用者、API Key 及群組使用 Token 統計。點選「重整」可刷新數據。
- 使用者 Token 統計：統計此時間範圍內使用者使用該模型的模型輸入及輸出 Token 數，由多至少排序。
- API Key Token 統計：統計此時間範圍內以 API Key 使用該模型的模型輸入及輸出 Token 數，由多至少排序。
- 群組 Token 統計：統計此時間範圍內該群組所有成員使用該模型的模型輸入及輸出 Token 數，由多至少排序。
使用者管理
管理員可新增、編輯、刪除使用者帳號，以及管理使用者權限，確保平台操作安全與權限控管一致性。
- 新增使用者
點選【+新增使用者】跳出視窗並填寫相關資訊，包含帳號、密碼、選擇權限角色、姓名、電子郵件並點選【新增】完成新增使用者。
提醒
- 請於新增使用者時複製密碼，完成此步驟後，將無法再次看到密碼。
- 密碼無法手動輸入，可點選右方【產生密碼】來隨機生成。
- 修改使用者
點選【功能鍵 > 修改】可修改現有使用者，包含密碼、角色、狀態、姓名、電子郵件，點選【送出】完成修改。 - 刪除使用者
點選【功能鍵 > 刪除】可刪除除自己之外的現有使用者。
群組管理
群組管理頁面支援依據部門、職能或專案建立群組，並透過模型和AI應用設置使用權限，實現資源精準分配與彈性管理。
- 新增群組
點擊【+新增群組】進入新增群組頁面，填寫群組名稱、描述並選擇群組成員後，點選【確認新增】可成功新增群組。
- 使用權限設定
新增群組後，可至模型管理頁面或AI應用管理頁面修改使用權限設定，限制特定群組使用模型或AI應用。 - 修改群組
選擇群組後，點選【功能 > 修改】可修改群組名稱、描述及修改群組成員。 - 刪除群組
選擇群組後，點選【功能 > 刪除】可刪除該群組。若群組已被模型或AI應用指定則無法刪除；請先至模型管理或AI應用管理頁面修改使用權限設定，移除該群組後再刪除。
模型管理
模型管理頁面可下載並啟用模型，並可隨時停用和切換不同模型，靈活管理模型及分配GPU資源。此外，可透過群組設定將模型資源指派給特定用戶群組，實現模型使用權限的精準控管。
模型下載、啟用、停用、刪除
- 下載模型
選擇欲下載模型，點選【功能 > 下載】，模型狀態會轉換為「下載中」，下載完成後狀態轉換為「已下載，未啟用」。下載時間會視模型檔案大小而定，如模型檔案較大請耐心等候。
- 啟用模型
下載完成後，請先啟用模型才可以與模型互動。選擇欲啟用模型，點選【功能 > 啟用】，模型狀態會轉換為「啟用中」，啟用完成狀態轉換為「已啟用」。模型啟用完成後，可於使用者介面選擇該模型進行對話。 啟動模型的等待時間會視模型檔案大小而定，如模型檔案較大請耐心等候。
- 停用模型
如欲停用模型釋出資源，點選【功能 > 停用】模型狀態會轉換為「已下載，未啟用」。
- 刪除模型
欲刪除模型，請先停用模型。選擇欲刪除模型，點選【功能 > 刪除】模型狀態會轉換為「未下載」。
狀態欄位說明
| 狀態 | 說明 |
|---|---|
| 未下載 | 模型尚未下載至本地 |
| 已下載，未啟用 | 模型已下載至本地，但尚未開始運行，使用者無法與模型對話 |
| 已啟用 | 模型已開始運行，使用者可於對話介面選擇該模型進行對話 |
模型操作紀錄
模型操作紀錄提供平台管理員查詢近 7 天內的模型操作歷程，包含操作人員、時間、模型項目與執行結果，協助管理員即時掌握異動狀態，並於模型下載或啟用失敗時查看錯誤訊息。
模型使用權限設定
平台管理員可透過模型群組設定，限制特定群組使用該模型，以達成資源的精準分配。
- 選擇模型，點選【功能 > 使用權限設定】進入使用權限設定頁面。
- 模型預設為【所有人皆可使用】，如欲更改使用權限，請點選【僅有指定群組可使用】，並選擇指定群組，點選確認。
- 完成設定後，模型使用權限會改為【指定群組】，此時僅有指定群組之成員才可以使用該模型。
使用權限設定欄位說明
| 使用權限 | 說明 |
|---|---|
| 開放 | 所有使用者皆可使用此模型，預設為開放 |
| 指定群組 | 僅有指定群組之成員可使用此模型 |
AI應用管理
AI應用管理頁面可下載並啟用多元之AI應用，並可隨時停用和切換不同AI應用，靈活管理模型及分配資源。此外，可透過群組設定將AI應用資源指派給特定用戶群組，實現AI應用使用權限的精準控管。
AI應用下載、啟用、停用、刪除
- 下載AI應用
選擇欲下載AI應用，點選【功能 > 下載】，AI應用狀態會轉換為「下載中」，下載完成後狀態轉換為「已下載，未啟用」。下載時間會視AI應用檔案大小而定，如檔案較大請耐心等候。
- 啟用AI應用
下載完成後，請先啟用AI應用才可以使用。選擇欲啟用AI應用，點選【功能 > 啟用】，AI應用狀態會轉換為「啟用中」，啟用完成狀態轉換為「已啟用」。AI應用啟用完成後，可於使用者介面開始使用該AI應用。
- 停用AI應用
如欲停用AI應用釋出資源，點選【功能 > 停用】AI應用狀態會轉換為「已下載，未啟用」。
- 刪除AI應用
欲刪除AI應用，請先停用AI應用。選擇欲刪除AI應用，點選【功能 > 刪除】AI應用狀態會轉換為「未下載」。
狀態欄位說明
| 狀態 | 說明 |
|---|---|
| 未下載 | AI應用尚未下載至本地 |
| 已下載，未啟用 | AI應用已下載至本地，但尚未開始運行，使用者無法使用該AI應用 |
| 已啟用 | AI應用已開始運行，使用者可開始使用該AI應用 |
AI應用群組設定
平台管理員可透過AI應用群組設定，限制特定群組使用該AI應用，以達成資源的精準分配。
- 選擇AI應用，點選【功能 > 使用權限設定】進入使用權限設定頁面。
- AI應用預設為【所有人皆可使用】，如欲更改使用權限，請點選【僅有指定群組可使用】，並選擇指定群組，點選確認。
- 完成設定後，AI應用使用權限會改為【指定群組】，此時僅有指定群組之成員才可以使用該AI應用。
API端點
API端點頁面支援模型API端點的開啟與關閉控制，企業可依內部開發或系統整合需求啟用端點，實現彈性串接與安全控管。
- 啟用API端點
點擊啟用開關來開啟模型API端點，當端點狀態為【已啟用】時，代表可以透過此端點直接與模型互動。 - 建立API金鑰
請參考API金鑰管理，建立並存下您的API金鑰。 - 複製API端點
啟用API端點後，複製右上角的API端點，並結合下方您欲使用的API端點路徑。例如：
https://{YOUR_API_ENDPOINT:PORT}/v1/chat/completions
- 透過API端點與模型互動
將您的API端點和API金鑰複製於正確位置，並填入您欲使用的模型名稱，透過呼叫API直接與模型互動，詳細請參考API文件。 - 停用API端點
再次點擊啟用開關可停用API端點。如企業沒有開發需求時，建議關閉API端點，避免API端點長時間暴露，提高安全性。
提醒
當API呼叫失敗時，可檢查以下幾點：
- API端點是否已啟用：請檢察API端點狀態是否為【已啟用】，請啟用後再試。
- API金鑰是否失效：請檢查該API金鑰是否已到期、或被誤刪，請進行展延或重新建立有效API金鑰後再試。
- 模型是否已啟用：僅能與已啟用的模型進行互動，請下載與啟用模型後再嘗試。
API金鑰
當企業有額外開發需求時，可啟用API端點直接呼叫模型。API金鑰作為存取憑證，僅持有有效金鑰的用戶才能呼叫API與模型互動。
- 新增API金鑰
- 點擊【+新增API金鑰】彈出視窗，填寫API金鑰名稱、描述及設定有效天數，點擊新增。
提醒
- 金鑰名稱僅能輸入3~20字元中英文或數字，且不能建立重複金鑰名稱。
- 有效天數不可輸入超過365天。如需要超過365天，可建立金鑰後再展延。
- 新增成功後，請複製您的API金鑰，並儲存於安全的地方。
注意
請妥善保存您的API金鑰，關閉此視窗後，將無法再次從介面上看到API金鑰。
- 建立API金鑰成功後，您可以在列表中查看您的API金鑰資訊，包含金鑰名稱、描述、建立者、建立時間、最後使用時間、到期時間。
- 展延API金鑰
點選【功能 > 展延】設定希望延長的到期時間，不可超過365天，點選確認完成金鑰展延。
- 刪除API金鑰
點選【功能 > 刪除】，可刪除此API金鑰。刪除後的API金鑰將無法繼續使用。 - 查詢API金鑰
於查詢框輸入完整API金鑰，可查詢該金鑰資訊及狀態。
系統日誌
系統日誌頁面提供管理員於系統異常時快速下載相關日誌，並回傳予開發團隊進行問題分析與偵錯。
- 選擇欲下載系統日誌時間範圍，預設為今天，可選最近3天、最近7天、最近30天
- 點選【下載日誌zip檔】，系統將開始下載系統日誌。
常見問題
Q. 為甚麼模型會下載失敗？
A. 可能因為儲存空間不足或其他原因造成模型下載失敗。請刪除已下載模型再試。如仍無法下載，請聯繫本公司。
Q. 為甚麼模型會啟用失敗？
A. 可能因為GPU記憶體不足或其他原因造成模型啟用失敗。請停用已啟用模型再試。如仍無法啟用，請聯繫本公司。
Q. 為甚麼模型推論到一半會自動停止？
A. 模型上下文長度已經到達上限，模型即中止推論。請輸入「繼續」讓模型接續回答或重新送出對話請求。
Q. 為甚麼同一對話串無法詢問更多問題？
A. 多輪對話情境下，模型上下文長度已經到達上限，模型即無法繼續推論。請開啟新對話再試。
Q. 為甚麼在多輪對話時上傳多張圖片會失敗？
A. 目前對話串內僅支援上傳單張圖片，因此上傳第二張圖片時會失敗。請開啟新對話再試。
Q. 為甚麼歷史對話紀錄會無法接續對話？
A. 如當下已啟用模型不包含歷史對話時所使用的模型，會無法進行接續對話，並看到錯誤提醒「模型未啟用」。如需要接續對話，請重新下載當時使用的模型再試。
Q. 為甚麼API會呼叫失敗？
A. 當API呼叫失敗時，可檢查以下幾點：
- API端點是否已啟用：請檢察API端點狀態是否為【已啟用】，請啟用後再試。
- API金鑰是否失效：請檢查該API金鑰是否已到期、或被誤刪，請進行展延或重新建立有效API金鑰後再試。
- 模型是否已啟用：僅能與已啟用的模型進行互動，請下載與啟用模型後再嘗試。
Q. API金鑰遺失了怎麼辦？
A. API金鑰僅能在建立階段複製，並不會顯示在列表上，因此請妥善保存API金鑰。如遺失API金鑰，請重新建立使用。